#!/bin/bash

cd src
# 参数说明：
# model_name 是vllm启动时served-model-name指定的名称
# worker_num 并发数，根据机器配置调整
# base_url 是vllm 启动参数 host 和 port 指定的，跨机器调用注意打开防火墙
python eval.py \
  --model_name "ds-r1-70b" \
  --worker_num 20 \
  --base_url http://127.0.0.1:8000/v1